如何快速选对创意 —— 阿里妈妈广告创意优选

▐  前言

广告创意是什么？简单来说，广告创意是一个“点子”，一个广告主为了吸引消费者注意力，而对其商品特性进行组合和包装的一种展现方式。而“点子”的具体载体则包括了图片，标题，视频和直播等等。如图1所示，广告主为了全面地呈现商品，并为其带来更多竞争力，他们会在广告后台上传多种多样的广告创意，既有完整的图片/视频创意，如图 1(a)，也有类似于利益点/行动点等创意素材，如图1(b)。但是，对于消费者的一次访问，平台往往只能呈现其中的某一个创意。相较于利用人工经验进行创意选择，机器智能的先天优势是能够通过海量数据进行创意优劣的学习，并在线进行知识积累，从而“优选”出最能吸引消费者注意力的广告创意。

图1 广告创意示例。a为完整创意示例，包括图文，短视频，直播等不同内容表现形式；b为细粒度的创意素材，包括商品的sku图，标题，利益点等，可进行实时组装和渲染。

因此，阿里妈妈广告创意优选平台则是利用算法的能力，帮助广告主高效准确地挑选最具吸引力的创意，包括：

• 对完整创意的优选：将创意优选建模成E&E问题，在标准Bandit策略基础上增加视觉特征作为先验，优化创意冷启动过程中的投放效果；
• 动态创意优化：系统接收的不再是人工制作的完整创意，而是各类创意素材（比如图1(b)右侧显示的模板集，图片元素，利益点等），算法会根据用户行为信息和投放结果“动态调整”元素的选择和优化制作的参数，使得最终的创意能够兼顾视觉效果和投放效果。

▐  完整创意优选的建模和求解

对于完整创意粒度的优选，我们可将其建模成标准E&E问题：给定商品，每个候选的创意都应具有机会被展示给用户，并获得相应的反馈信息(Explore阶段)；同时，为了确保广告的长期收益，系统会把较多的流量分配给迄今为止投放效果最好的创意(Exploitation阶段)。上述探索和利用(E&E)之间的权衡策略可由Bandit模型进行求解。业务场景中常用的bandit模型包括Smoothed -Greedy，Thompson Sampling和LinUCB。

但上述标准bandit策略会遇到一些较为棘手的问题，例如创意冷启动。哪些情况下会出现冷启动的问题？

• 新场景：数据还没有累积充分的初始阶段；

• 成熟场景下的长尾部分：由于头部效应，出价不足等原因，大量长尾广告缺乏反馈数据；

• 频繁更换/测试创意的广告：广告主人为地更换/添加创意来测试投放效果；

以上几种情况下，创意都会面临展示数据不足，模型预估不准的问题。因此，如何利用成熟场景的数据或者是已获得充分反馈的头部广告数据形成有效的先验信息是至关重要的。

图2 具有视觉先验的混合Bandit模型框架[1]。模型接收多个候选创意 (见左侧一列)，并通过(a)视觉感知排序模型(VAM)和(b)混合Bandit模型(HBM)找到最有吸引力的创意

因此，我们提出了基于视觉内容的创意效果预估模型[1]。该模型分为视觉感知排序模型(Visual-aware Ranking Model, VAM)和混合Bandit模型(Hybrid Bandit Model, HBM)。前者从充分投放的数据中学习与效果相关的视觉特征，后者则以学习到的视觉特征和模型参数作为先验，根据实际投放数据进行后验的更新，整体框架如图2所示。

VAM - Visual-aware Ranking Model

VAM模型的目标为学习与点击率正相关的视觉特征。假设给定广告,我们可以使用深度卷积神经网络提取其候选创意的高层特征(如图2(a)所示)，并利用一层线性映射将其转换为对应的分数。经过不断地实验，我们发现利用点估计(Point-wise AuxiliaryLoss)和排序学习(List-wise Ranking Loss) 两个损失函数加权求和的方式能使得卷积神经网络学习得最为充分，且更利于作为HBM的先验信息，此为第一阶段。

独立的VAM已经能根据视觉特征完成创意的排序，但有两个缺陷：

1. VAM是确定性策略，即系统会一直投放当前模型打分最高的创意(exploitation)，而失去发现其他潜力创意(explore) 的机会；
2. VAM学习到的是一种通用的创意内容到投放效果之间的对应关系，这样全局捕捉的visual pattern和每个广告创意的特性可能存在冲突。

HBM - Hybrid Bandit Model

基于上述考虑，我们在视觉特征的基础上提出了混合bandit模型HBM。假设创意的展示效果(点击/未点击) 与学习后的视觉特征服从线性规律，其中不同于VAM中确定性参数，上式中的是需要求解的分布，而系统正好可以利用该分布进行采样完成E&E决策。（可直接跳到“实验分析”，不影响阅读。）

我们对参数的分布做如下先验约束：

其中, 。为逆Gamma分布，为高斯分布。因为先验分布与似然分布的共轭性质，我们可利用贝叶斯线性回归对进行后验推断。上述解决了E&E的问题，但如果全局共用一个，创意之间无法做到“解耦合”。

我们最终采用了这样一个建模方式：（公众号回复"创意"，获取完整公式内容）

其中是同一广告下所有创意共享的权重分布，是每个创意自己维护的权重分布。是与展示数量相关的sigmoid函数：当投放数据充分时，系统更相信每个创意维护的参数分布，而当展示数量不足时，系统则更倾向于使用一个ad下维护的参数分布。预测阶段可使用预估的作为每个创意的分数，并用argmax获得最优创意进行投放。

实验分析

表1 (a)在 Mushroom/CreativeRanking 两个数据集中进行效果对比。(b)模拟创意从启动开始15天的投放效果。

为了验证VAM和HBM的效果，我们在两个数据集上进行效果验证：

• 创意投放数据：包含50w广告，170w创意。这是业界第一次大规模的广告创意投放数据收集和整理，具体描述可见：https://tianchi.aliyun.com/dataset/dataDetail?dataId=93585；
• Mushroom公开数据集，主要用于验证bandit模型(HBM)；

表1(a)为具体的指标，Regret越低越好，sCTR越高越好，我们的VAM-HBM显著地好于其他方法。右侧是模拟投放天级的效果以及累积的效果，其中红色实线是我们提出的方法，可以看出：

• 相对于常规的bandit模型，我们的模型具有更好的冷启动能力(起点较高，sCTR+5%)；

• 相对于纯视觉预估模型VAM，结合HBM在后半阶段效果提升更多 (接收更多的反馈数据用以更新策略，sCTR+2.6%)；

• 无论是天级效果还是累积效果都优于其他所有模型；

更多实验结果可参见论文[1]。

▐  动态创意优化

上一节解决的主要问题是给定“完整创意”后如何高效地学习场景数据，不断提高优选策略的准确性。“完整创意”的生成包含了多种创意素材的选择。我们希望优选能力能够更深入地融合到创意制作过程中，即在制作时对“创意元素”进行个性化优选，对“制作参数”进行实时优化，以便在物料池中找到最吸引用户的元素并完成千人千面的制作。

创意元素个性化优选

图3 元素个性化框架。(a) 输入：创意元素集合，包含模板集/图片/主副标题/利益点等; (b) 元素个性化模型，包含多尺度的创意元素表达; (c)输出：根据用户行为匹配最具吸引力的元素，在线制图并展现。

我们收集同一广告下不同形态的物料，主要有：

• 美观且干净的图片素材：包含同一商品不同属性，比如颜色，有无模特，背面/侧面以及面料等；
• 主标题智能生成/用户自定义标题：算法根据商品原标题相关信息智能生成主标题，我们也支持广告主自定义标题，两类素材来源共同构成标题素材；
• 利益点：店铺/商品的促销信息，包括优惠券，推广折扣等；
• 行动点：比如立即抢购，点击进入等等(智能生成或用户自定义)；

为了完成用户和创意之间点击率的预估，我们设计了如图3(b)DNN模型，其特征包含用户特征，广告特征和创意特征(多模态特征)。值得注意的是，对于创意元素，我们使用了多尺度的特征表达，例如模板既有全局共享的向量，又带有和图片叉乘后的独立向量表示，使得模型不但包含模板在全局投放下的信息，又含有(商品x模板)组合后的效果。以此模型作为预估，我们可以为每个用户选择最有吸引力的图片，文案和模版等元素，并利用实时制作平台完成整图的制作和千人千面的展示。

制作参数动态优化

上一小节介绍的是创意元素的个性化选择，而这些元素的最终呈现形式依赖于“制作参数”的控制，如模板的背景颜色，图像的尺寸，标题颜色、标题文字大小等。如下图4中两张图文创意的示例，标题颜色有多种不同的候选，包括白色、灰色、蓝色等。

图4 制作参数示例。包括模板背景颜色，图像尺寸，字体和颜色等。

由于不同制作参数之间的排列组合造成寻优空间极大，我们提出基于树结构的合成创意制作参数优化。如下图5(a)所示，我们以创意元素为节点构建一颗树。蓝色的结点表示一种创意元素，黄色结点表示对应创意元素下不同的制作参数。图中的一条连接则对应一种制作参数组合。因而我们把创意元素制作参数组合寻优的问题转化成图上的最优路径选择问题，而该问题可以通过动态规划的思想加速求解。由于投放数据有限，采用树结构可以引入视觉先验信息来缩小搜索空间。如图5(b)中的“Good case”，浅灰背景和黑色文字视觉效果较好；而图5(b)中的“Bad case”，该背景和白色文字则非常不清晰。因而在选定浅灰背景的情况下，文字颜色的选择就不能包含白色。这种限定关系可以在树结构中很好地表示出来。

图5 (a) 创意元素构成的树结构; (b) 制作参数组合示例

在构建完如上图5(a)所示的创意元素树之后，我们提出一种高效的制作参数组合寻优框架，分为如下三个部分：

• CTR预估器: 以创意元素树中结点和边为输入，输出CTR估计值；
• 最优创意组合搜索策略：在树中使用动态规划的思想，减少寻优的时间；
• E&E算法：由于创意展示pv的稀疏性，使用Thompson sampling来提升E&E的效果；

上述步骤的具体建模可参见论文[2]。

制作参数特征的自动交互学习

不同特征之间的交互方式有很多，只使用常规的内积交互函数会使得模型得到次优的效果。为了更好地表达创意特征之间的交互，我们提出使用AutoML的思想来自动地搜索创意特征之间的交互操作。

我们定义交互函数空间为，交互函数包含5种，分别为：

(1) , 向量和的拼接；

(2) , 和 element-wise相乘；

(3) ,  和  element-wise相加；

(4) , 和按照element-wise取；

(5) ，和按照element-wise取。

过完交互函数之后，会再过一层全连接变换到同一大小的隐空间。

图6 交互函数搜索空间表示

为了获取不同特征之间最优的交互函数，一个直接的思想是遍历所有的可能，然而这种情况下的时间复杂度是指数级别的。为了更加快速地搜索特征之间的交互函数，我们借鉴NASP[3]这篇文章中的算法，使用一种one-shot的搜索算法。首先我们放缩特征和特征之间的交互函数选择问题为一个连续可优化的问题， 表示特征和特征之间每一个交互函数的重要性权重，表示交互函数空间中第个交互函数的权重。此时，特征和特征之间的交互结果可以表示为：

上式中定义域限制特征之间只能选择一个交互函数，使得算法优化更加稳定，, 分别表示特征和特征$对应的embedding向量。如果考虑CTR的建模只和特征间的二阶交互相关，那么交互函数搜索问题可以写成如下形式：

上式中，， 表示交叉熵，表示特征的embedding参数以及模型参数，具体建模及求解可参见论文[3]。

实验分析

我们将上述特征交叉方法在模拟数据集和真实场景中做了对比实验，效果如下图7所示。从图7(a)可以看出，我们提出的AutoCO算法在模拟数据集上具有很大的效果提升，图7(b)展现了交互函数搜索算法的有效性，搜索出来的交互函数比所有特征交互使用任何一个相同的交互函数的效果要好。图7(c)展示了我们的AutoCO上线后的效果，相比于baseline，我们的AutoCO算法带来了7%的CTR提升。

图7 模拟数据集和线上实验效果

为了进一步验证我们算法的普适性，我们在公开数据集上和baseline进行比较，评价指标是累计regret。效果如下表2所示，从表2(a)中我们可以看出，AutoCO搜索得到的交互函数的效果显著好于不搜索的单个交互函数的效果。表2(b)表示，在交互函数搜索的过程中使用EE能够帮助模型找到更好的解，进而提升模型效果。

表2 公开数据集上的实验效果

▐  姊妹篇 & 关于我们

本文旨在介绍创意优选算法 ，关于如何制作高质量的图文创意，请查阅公众号姊妹篇 《告别拼接模板 -- 阿里妈妈动态描述广告创意》。

关于制作图片如何高效渲染，请查阅姊妹篇 《高并发图片实时渲染技术在阿里妈妈的大规模应用》。

我们是阿里妈妈创意算法团队，致力于推动广告创意产业的AI升级，努力推动创意制作、理解和投放的全栈智能化。得益于阿里巴巴庞大而真实的营销场景，团队在图像技术、视频技术、文案生成等领域持续发力和创新，现已构建出图片与短视频创意自动生成，创意个性化投放，智能文案写作，全自动与交互式抠图等特色产品，论文发表于 ICCV AAAI  ACMMM  WWW EMNLP  CIKM  ICASSP 等领域知名会议。用AI赋能现代营销，驱动产业升级。同时，真诚欢迎具备CV、NLP和推荐系统相关领域的同学加入！

投递简历邮箱：[e-mail]

Reference

[1] Wang, S., Liu, Q., Ge, T., Lian, D., & Zhang, Z. (2021, April). A Hybrid Bandit Model with Visual Priors for Creative Ranking in Display Advertising. In Proceedings of the Web Conference 2021 (pp. 2324-2334).

[2] Chen, J., Ge, T., Jiang, G., Zhang, Z., Lian, D., & Zheng, K. (2021, March). Efficient Optimal Selection for Composited Advertising Creatives with Tree Structure. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 35, No. 5, pp. 3967-3975).

[3] Chen, J., Xu, J., Jiang, G., Ge, T., Zhang, Z., Lian, D., & Zheng, K. (2021, April). Automated Creative Optimization for E-Commerce Advertising. In Proceedings of the Web Conference 2021 (pp. 2304-2313).

END

欢迎关注「阿里妈妈技术」，了解更多~

疯狂暗示↓↓↓↓↓↓↓